De oorsprong van het kasteel gaat terug tot voor 1340 met als eigenaar het geslacht de Seilles.
Het kasteel, een langwerpig hoofdgebouw van kalksteen met aan weerszijden twee ronde torens met portaal uit 1714 en sleuven van de ophaalbrug, was in de 14de eeuw de zetel van een grondheerlijkheid.
In 1594 wordt Seilles door de Spaanse koning Filips IV verheven tot hoge heerlijkheid, waardoor er ook recht gesproken mag worden. In die periode komt een groot deel van het huidige gebouw en de aansluitende vierkantshoeve tot stand. In 1620 komt het kasteel in handen van Guillaume d'Oyenbrugge de Duras en zijn echtgenote, zij laten het kasteelpark aanleggen. De laatste die zich heer van Seilles mag noemen is Guillaume de Borchgrave. Na de Franse Revolutie, die alle heerlijke rechten afschaft, wordt generaal Edouard-Alexis Merx de Corbais de nieuwe bewoner van het kasteel.
In de 19de eeuw werd het kasteel herbouwd in neogotische stijl. De laatste particuliere eigenaar heeft het kasteel in 1954 nagelaten aan het Openbaar Bijstand Commissie, het latere OCMW. Het deed tot het einde van 1990 dienst als rusthuis, later als cultureel en toeristisch centrum. In 2007 stemde de Waalse regering in met het voorstel van de stad Andenne om het kasteel te transformeren tot 19 sociale wooneenheden.